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(54) Title: INTERACTION AREA FOR DATA REPRESENTATION 

(54) Bczeichnung: 1NTERAKTIONSRAUM ZUR DARSTELLUNG VON DATEN 

(57) Abstract 

The invention concerns an interaction area with image processing for the objects to be detected at the perception area. The objects 
are in contrast in the perception area and thus can be easily recognized by the image processing. 

(57) Zusammenfassung 

Der Interaktionsraum besitzt eine Bildverarbeirung fur im Wahrnehmungsraum zu detekticrende Objekte, wclche zum 
Wahmehmungsraum in Kontrast sind und deshalb von der Bildverarbeitung leicht erkannt werden konnen. 
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Interaktionsraum zur Darstellung von Daten 

5 Die Erfindung betrifft einen Interaktionsraum zur Darstellung von Daten. 

Eine Interaktion der genannten Art fmdet zum Beispiel zwischen Mensch und 
elektronischer Datenverarbeitungsanlage statt, wenn Daten eingegeben, verarbeite- 
te Daten entgegengenommen und allfallig neue Daten eingegeben werden mussen. 

10 

Hiifsmittel fur die Interaktion ist zum Beispiel eine Maske, welche auf dem Bild- 
schirm erscheint und fur den Anwender den Wahmehmungsraum bildet, so dass die 
zur Verfugung stehenden Daten erkannt und noch einzugebende Daten identifiziert 
werden k6nnen. 

15 

Die Aktionen fur die Eingabe der Daten werden via Tastatur, Maus Oder am Schirm 
selbst (Touch Screen) vorgenommen; in den ersten beiden Fallen ist der Aktions- 
raum (Tastatur, Maus) vom Wahmehmungsraum (Bildschirm) getrennt, beim dritten 
Beispiel fallen Aktionsraum und Wahmehmungsraum zusammen. 

20 

Mit den in der letzten Zeit entscheidend verbesserten MSglichkeiten, rechner- 
gestutzt zu arbeiten, sind Probleme bei der Interaktion Mensch / Datenverarbei- 
tungsanlage aufgetreten. Zum Beispiel bei Planungsaufgaben Oder beim CAD ist 
nicht mehr eine nur schematische Eingabe vorzunehmen, sondem zum Beispiel 

25 verSnderte Randbedingungen als Resultat menschlicher ZwischenOberlegungen 
aufzubereiten und maschinenfahig einzugeben. Diese vermehrten Anspruche an 
den Anwender fuhren dazu, dass das Bedurfnis besteht, rechnergestutzt im Team 
arbeiten zu k6nnen. Es konnen aber auch rechnergestutzte Verhandlungen gefuhrt 
werden, wo Argumente und Gegenargumente durch Datenverarbeitung laufend zu 

30 verifizieren Oder zu beantworten sind. 

BESTATIGUNGSKOPIE 
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Dies fuhrt dazu, dass der Wahrnehmungsraum "Bildschirm" sowie der Aktionsraum 
•Tastatur/Maus/Touch Screen" als hinderlich fur eine flussige Arbeitsweise empfun- 
den werden. Die Interaktion zwischen Mensch und Datenverarbeitungsanlage wird 
zur Schwachstelle in der rechnergestutzten ProblemlOsung. 

5 

Entsprechend sind weitere Darstellungs- und Eingabem6glichkeiten fur Daten im 
Hinblick auf rechnergestutzte Problemlosungen entwickelt worden. 

Es ist bekannt, ausgegebene Daten ("den Bildschirminhalt") an eine WandflSche zu 
10 projizieren und durch einen Laserstrahl, in der Art des Touch Screen, bestimmte 
Felder im projizierten Bild zu markieren, was durch eine Kamera erkannt und so 
durch den Rechner verwertet werden kann. Nachteilig ist diesem Vorgehen, dass 
die Eingabemoglichkeiten sehr beschrSnkt sind, was den Vorteil, dass viele Teil- 
nehmer die Interaktion verfolgen und damit beeinflussen konnen, entwertet. 

15 

Eine weitere M6glichkeit der Interaktion ist durch die Projektion der Daten auf eine 
horizontale Arbeitsflfiche, zum Beispiel einen Besprechungstisch, bekannt gewor- 
den. Der Wahrnehmungsraum befmdet sich dabei an einem ergonomisch optima- 
len Ort. Physische Objekte, zum Beispiel Modelle von Maschinen oder Einrichtungs- 

20 gegenstSnden k6nnen nun direkt im Wahrnehmungsraum plaziert werden; uber ein 
Netz waagrechter Infrarotstrahlen, welche durch die Objekte unterbrochen werden, 
ist der Rechner in der Lage, die Position der Objekte festzustellen. Damit erfolgt 
gleichzeitig eine Dateneingabe in den Rechner in einer fur den Menschen optimalen 
Weise: Wahrnehmungsraum und Aktionsraum fallen zusammen; die Aktionen 

25 erfolgen in einer ergonomisch und arbeitspsychologisch bevorzugten Weise ohne 
spezielle, maschinenseitig bedingte Handlungen, was die intellektuelle Leistung des 
Menschen unterstutzt. Nachteilig ist dieser Art der Interaktion, dass ein Infrarot- 
koordinatennetz nur mit betrSchtlichem technischen Aufwand geschaffen werden 
kann und die Position der Objekte (Schattenwurf, Identifikation, Orientierung) derart 

30 mangelhaft ist, dass die potentiellen Vorteile solch eines Interaktionsraums nicht 
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realisierbar sind. 

Weiter bekannt ist die Projektion eines einfachen Spielfeldes (Projektion weisse 
Linien fur das Muhlespiel) auf eine waagrechte Unterlage, wobei mit schwarzen 
5 Steinen gespielt wird. Eine Kamera nimmt die ZOge des Spielers auf, so dass der 
Rechner uber die notwendigen Eingangsdaten verfugt und seinen Gegenzug zum 
Beispiel auf einem Bildschirm darstellen kann. Auch hier fallen im Interaktionsraum 
Wahrnehmungsraum und Aktionsraum zusammen, wahrend die Anordnung aber 
nicht erlaubt, kompliziertere Spiele ablaufen zu lassen, da die Projektion kom- 

10 plizierterer Spielfelder beziehungsweise die Identifikation anderer (als der genann- 
ten) Steine nicht moglich ist. Es ist bisher keine M6glichkeit bekanntgeworden, eine 
komplizierte Umgebung darzustellen und darin Eingriffe vorzunehmen, da die 
zugehorige Bildverarbeitung die entsprechend notwendigen Unterscheidungen nicht 
oder nur unter unverhaltnismassig grossem Aufwand treffen kann. Die Bildver- 

15 arbeitung hat die komplizierte Umgebung vollstandig zu analysieren und darin die 
Aktion zu fmden und positiv zu indentifizieren, zB eine Kontur eines Gegenstands, 
welcher bewegt wird. Die Identifikation kann besonders dann schwierig sein, wenn 
die Umgebung ahnliche Konturen oder Eigenschaften aufweist wie der Gegenstand 
selbst oder wenn der Gegenstand seinerseits Eigenschaften ahnlich zur Umgebung 

20 besitzt und dann gwissermassen in dieser mehr oder weniger stark getarnt ist. 

Entsprechend ist es eine Aufgabe der vorliegenden Erfindung, einen Interaktions- 
raum zwischen Mensch und Datenyerarbeitungsanlage fur die AusfOhrung an^ 
spnjchsvoller, rechnergestOtzter Probleml6sungen bereitzustellen, in welchem das 
25 Problemfeld als Wahrnehmungsraum fur den Menschen visuell dargestellt ist. Der 
Wahrnehmungsraum soli zugieich Aktionsraum sein, indem darin mit physischen 
Objekten als Bestandteil des Problemfeldes gearbeitet werden kann und diese 
Arbeit automatisch zu einer rechnertaug lichen Eingabe in die Datenverarbeitungs- 
anlage fuhrt. 

30 
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Ueber diese Aufgabe hinaus soli es moglich sein, in einem komplizierten Wahr- 
nehmungsraum ein beliebiges Objekt einfach, dh mit geringem Aufwand betreffend 
Bildverarbeitung zu identifizieren. 

5 Daruber hinaus soil es moglich sein, den Interaktionsraum und das Objekt frei nach 
den Bedurfnissen der BenOtzer auszugestalten, so dass technisch bedingte Restrik- 
tionen in dieser Ausgestaltung im Hinblick auf die Fahigkeit der Bildverarbeitung, 
das Objekt im Wahmehmungsraum zu identifizieren, im wesentlichen entfallen. 

o Diese Aufgabe wird durch die kennzeichnenden Merkmale der Anspruche 1 und 1 0 
geldst. 

Dadurch, dass das Objekt von einem speziellen Sender abgegebene und durch 
seine Oberflache effindungsgemass reflektierte oder selbst gesendete Signale dem 

5 Detektor abgibt, empfangt der Detektor aufgrund der Anwesenheit des Objekts 
starkere oder andere Signale als es der dem Wahmehmungsraum und den jeweils 
naturiichen Verhaltnissen, zB der Lichtverteilung in einem Arbeitsraum, in welchem 
sich die BenOtzer aufhalten und in welchem der Wahmehmungsraum aufgebaut ist, 
(Streulicht, Scheinwerferlicht etc.) entspricht. Der Kontrast zwischen Objekt und 

o Hintergrund (Wahmehmungsraum) wird somit im Vergleich zu bekannten Verfahren 
stark erhoht. Die Bildverarbeitungseinheit des Rechners ist also davon entlastet, 
eine an sich bekannte Kontur des Objekts als solche aus der sonstigen Umgebung 
des Wahmehmungsraums zu identifizieren, unter der Voraussetzung gemdss Stand 
der Technik, dass das Objekt und die Umgebung des Wahmehmungsraums den 

5 gleichen Verhaltnissen unterliegen. (Letzeres ist zB der Fall, wenn ein Plan oder ein 
farbiges Layout auf eine ArbeitsflSche projiziert und darauf ein Maschinenmodell 
positioniert wird. Der Detektor empfangt dann das dem Menschen sichtbare Bild; 
auf dem Maschinenmodell ist womoglich noch der darauf projizierte Layoutabschnitt 
sichtbar, was es der Bildverarbeitung im Gegensatz zum Menschen emeblich 

o erschwert, das Objekt zu indentifizieren). 
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Dank des erfindungsgemassen Kontrastes kann das Objekt fur die Bildverarbeitung 
nicht mehr getamt im Wahrnehumgsraum vorliegen. 

5 

Es ist auch moglich, die Signale des Wahmehmungsraumes (fur den Menschen) 
von den Signalen des Aktionsraums (fur die Interpretation durch die Maschine) in 
zwei oder mehr Kanale aufzutrennen und somit Interferenzen zwischen diesen 
Kanalen zu reduzieren. Weiter ist es mflglich, den Detektor fur nur oder fur im 

10 wesentlichen nur den Empfang der Signale des Objekts auszubilden und derart die 
Bildverarbeitung direkt die Koordinaten des Objekts oder die gewunschten objektbe- 
zogenen Informationen bestimmen zu lassen, womit die Bildverarbeitung ganzlich 
oder fast ganzlich von der Suche und Identifikation des Objekts aus den Strukturen 
des Wahmehmungsraums entlastet ist. Die Koordinaten bzw die objektbezogenen 

15 Informationen konnen dann direkt in entsprechende Inputsignale fur die verwendete 
Datenverarbeitungseinheit aufbereitet werden, welche wiederum die entsprechende 
Veranderung im Wahmehmungsraum sowie allfallig notwendige weitere Verarbei- 
tungsschritte vomimmt. Dann liegt ein reines Zweikanalsystem vor, bei welchem im 
einen Kanal der Wahmehmungsraum fur den Menschen projiziert wird und im 

20 andern Kanal im wesentlichen nur die Signale des im Wahmehmungsraum sich 
befmdenden Objekts empfangen und/oder verarbeitet werden. Die CPU der Ver- 
arbeitungseinheit wird dann die Objektbezogenen Informationen (aus der Bildver- 
arbeitung) und die Daten betreffend Wahmehmungsraum (aus der work-station) 
zusammenfuhren und daraus den neuen, zu proijizierenden Wahmehmungsraum 

25 generieren sowie die weiteren zB CAD bezogenen Verarbeitungsschritte durch- 
fuhren. 

Der Typ des Objektes sowie beliebige Eigenschaften des Objektes konnen durch 
raumliche und/oder zeitliche Variation des Objektsignales entsprechend kodiert, 
30 zum Detektor ubertragen und von diesem empfangen werden. Es kdnnen so auf 
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einfache und zuverlassige Weise mehrere Objekte im Wahmehmungsraum vonein- 
ander unterschieden werden, indem jedes Objekt einen ihm zugeordeneten Code 
wenigstens einmal, zur Identifikation, Oder mehrfach, zB jedesmal bet menschlicher 
Manipulation des Objekts, oder dauemd aussendet. Die Wirkung einer Objektmani- 
5 pulation auf den Wahmehmungsraum kann fur jedes einzelne Objekt unterschied- 
lich sein. 

Bevorzugt sind die Objekte so gestaltet, dass sie auch fur den Menschen einfach 
zu unterscheiden sind, zB durch unterschiedliche Form- oder Farbgebung oder 

10 durch Anbringen von Mustem. Entsprechend besteht dann ein Objekt aus einem 
TrSgerteil, geeignet fur Manipulation durch den Menschen, und aus einem ref lektie- 
renden oder Sendenden Teil zur Abgabe der Signale fur den Detektor. Die ver- 
schiedenen Objekte kdnnen zB durch entsprechende Gestaltung des Trfigerteils 
wie verschiedene, vom Menschen leicht zu unterscheidende Werkzeuge aus einem 

15 Werkzeugkasten wirken. Diese Analogie zu einem Arbeiten mit verschiedenen 
Werkzeugen ist fur den Menschen intuttiv verstandlich und unterstutzt somit die 
Aufgabe der vorliegenden Erfindung, einen effizienten, intuitiven, einfach erlem- 
baren Interaktionsraum fur die Ausfuhrung anspruchsvoller, rechnergestutzer 
Problemldsungen bereitzustellen. Die Bildverarbeitung wird dadurch nicht tangiert, 

20 da sie das Objekt nicht anhand seiner rSumlichen oder farbigen Ausgestaltung im 
ebenfalls rSumlichen und/oder farbigen Wahmehmungsraum finden muss, sondem 
auf die spezielten Signale des Objekts an sich abstellen kann (welche erfindungs- 
gemSss zu den Signalen der sonstigen Umgebung im Kontrast sind). 

25 Der ubermittelte rfiumliche und/oder zeitliche Code kann selbst variabel sein und 
uber geeignete Sensoren am Objekt gesteuert werden. 

Dadurch ist es mfiglich, mittels Objektmanipulationen durch den Menschen die 
Datenverarbeitungseinheit zu aktivieren und unter anderem eine beliebige zughOri- 
30 ge Modifikation des Wahnehmungsraumes auszulOsen. Es ist also zum Beispiel 
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moglich uber einen Schieberegler am Objekt eine Hohe einzugeben, worauf im 
Objekt ein entsprechendes Signal kodiert, von diesem gesendet, vom Detektor 
empfangen, von der Bildverarbeitung erkannt und von der Datenverarbeitung 
ausgewertet wird urn damit zB im projizierten Wahmehmungsraum zum Beispiel die 
5 H6he eines graphischen Objekts zu erkennen und darzustellen. 

Damit wird es erstmals moglich, den Wahmehmungsraum beliebig inhomogen, das 
heisst mit komplexer Struktur und beliebig farbig darzustellen, also komplizierte 
Layouts wiederzugeben, und zugleich mit beliebig ausgebildeten Objekten im 
10 Wahmehmungsraum zu manipulieren, was den entscheidenden Schritt fur die 
Benutzbarkeit des erfindungsgemassen Interaktionsraums darstellt. 

Ueber die gestellte Aufgabe hinaus kann bei einem Objekt mit einem eigenen 
Sender oder bei einem Objekt mit einer retroreflektierenden Oberflache nach 

15 Anspruch 3 eine Vorrichtung verwendet werden, welche ausschliesslich im sicht- 
baren Lichtbereich oder zB im nahen Infrarot arbeitet und deshalb aus einfachsten 
Standardkomponenten (zum Beispiel handelsubliche Videokamera als Detektor) 
besteht und entsprechend billig ist. Eine einfache, also breit erprobte, Oberall 
kaufliche und uberall zu wartende, damit zuverlassige und auch vergleichsweise 

20 kostengunstige Technik bereitzustellen ist ebenso wichtig fur die generelle Brauch- 
barkeit eines Systems wie die technische L6sung an sich. 

Die optische Sigalubermittlung erfolgt bevorzugt direkt. Die Signale kdnnen aber 
auch uber einen oder mehrere Spiegel umgelenkt werden, sowohl vom Projektor 

25 zum Bereich der Darstellung des Wahrnehmungsraums als auch von den Objekten 
zum Detektor, was eine kompaktere Systeml6sung erm6glichen kann. Eine Umlen- 
kung Qber Spiegel kann insbesondere dann von Vorteil sein, wenn der Wahr- 
nehmungsraum von einem Projektor auf eine bevorzugt horizontale Arbeitsflache 
herunter projiziert werden soil. In diesem Fall ist die maximal m6gliche Distanz 

30 zwischen Projektor und Arbeitsflache (ohne Spiegelumlenkung) durch die RaumhO- 
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he beschrSnkt. Dies kann sich dahingehend ungunstig auswirken, dass entweder 
das projizierte Bild auf der Tischflache zu klein ist Oder dass das Licht des Projek- 
tors an den Bildrflndem unter einem Winkel einffillt, der stark von einer Senkrech- 
ten zur ArbeitsflSche abweicht. Je stSrker dieser Winkel von einer Senkrechten 
5 abweicht, urn so grfissere seitliche Schatten werfen nun physikalische Objekte tm 
Wahrenhmungsraum. Diese Schatten stSren den menschlichen Betrachter des 
Wahrnehmungsraumens und wirken sich somit auf die vorliegende Erfindung 
ungunstig aus. Vorzugsweise besitzt solch ein Spiegel eine Ftdche von mindestens 
100 cm 2 . 

10 

Eine Spiegelumlenkung kann den optischen Weg zwischen Projektor und Arbeits- 
flache vergrdssem und dadurch die beschreibenen ungunstigen Effekte reduzieren. 
Eline Spiegelumlenkung kann ausserdem eine leichtere Bauweise ermOglichen, da 
anstelle eines schweren Projektors oberhalb der ArbeitsflSche nur ein leichter 
15 Spiegel befestigt werden muss. Damit kann die vorliegende Erfindung insgesamt 
leichter und damit auch leichter transportierbar gebaut werden. Es wird damit 
moglich. die vorliegende Erfindung nicht nur als fix installierte Anlage einzusetzen, 
sondern die gleiche Anlage an mehreren Orten zu verwenden. 

20 Die Erfindung wird nachstehend anhand eines Ausfuhrungsbeispiels ndher er&u- 
tert. 

Es zeigt: 

25 Fig. 1, rein schematised den Aufbau einer erfindungsgemflss Vorrichtung; und 

Fig. 2, beispielhaft und rein schematised, verschiedene Objekte, wie sie im Wahr- 
nehmungsraum Verwendung finden k&nnen. 

30 Die als Sender ausgebildete Halogenlampe 1 wirft Licht auf den Tisch 4 und auf ein 
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oder mehrere als Klotzchen 3 ausgebildete Objekte, welche von einem Benutzer auf 
dem Tisch umhergeschoben werden kOnnen. Das Klotzchen 3 ist mit einer retrore- 
flektierenden Folie 3.1 beschichtet, welche das Licht bevorzugt in die Richtung der 
Lichtquelle zuruckreflektiert. Dadurch erscheint das KI6tzchen fur einen Betrachter, 

5 welcher sich in der Nahe der Lichtquelle befindet, deutlich heller als die Umgebung, 
zB die darunterliegende Tischflache. FQr den Beobachter im Abstand zur Licht- 
quelle tritt aber kein weiterer Effekt auf. Damit sieht nur der als CCD-Kamera 2 
ausgebildetete Detektor, welcher nahe beim Sender angeordnet ist, immer ein 
helles Objekt auf dunklem Grund - sogar wenn ein LCD-Projektor 5 zusatzlich ein 

10 Bild 5.1 als Wahrnehmungsraum auf die Tischflache projiziert. Dadurch kann die 
Form, Position und Orientierung des Klotzchens einfach und zuverlassig automa- 
tisch erkannt werden. Es ist nicht mehr notwendig, wie im Stand der Technik not- 
wendig, das Bild 5.1 zu vollstandig zu erkennen und zu analysieren urn das KIGtz- 
chen 3 zu idenfrfizieren. Das Kietzchen 3 wird durch seine Helligkeit, dh durch den 

15 Kontrast zum Bild 5.1 , und ohne weitere Analyse des Bilds 5.1 , direkt erkannt. 

Die CCD-Kamera 2 liefert ein Videobild der KI6tzchen und der Tischflache, welches 
Gber das Videokabel 7 zum Frame-Grabber 9 einer Workstation (8-16, 20) uber- 
mittelt wird. Im Frame-Grabber 9 wird das analoge Videobild, gesteuert durch die 

20 CPU 1 1 , digitalisiert und steht anschliessend im Hauptspeicher 12 in digitaler Form 
fur die automatische Auswertung, ebenfalls durch die CPU 11, zur Verfugung. 
Diese Auswertung fugt dann die Informationen welche zum Bild 5.1 gefQhrt haben 
(Speicher 16 und Speicher 13) mit den neuen Auswertungsresultaten ( aus Spei- 
cher 12) zusammen, zu einem neuen Zustand des Wahmehmungsraums (Speicher 

25 13). Die CPU 1 1 erhalt ihre Instruktionen vom Programmspeicher 10. Daten werden 
zwischen den verschiedenen Speicherbereichen und der CPU uber den Bus 8 
ausgetauscht. 

Das digitale Videobild im Hauptspeicher 12 wird mit Bildverarbeitungsalgorithmen 
30 automatisch analysiert. Die Form, Position und Orientierung der Klotzchen wird 
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analysiert (sei dies durch eine bestimmte, die Orientierung defmierende Ausgestal- 
tung der zu detektierenden OberflSche der Klfitzchen oder durch die Signale m- 
ehrerer im Kietzchen angeordneter Sender oder durch die einem bestimmten Code 
entsprechenden, durch die Sender abgegebenen Signale) und die Auswertungs- 
5 resultate in Hauptspeicher 13 gespeichert. Diese Resultate werden nun benutzt, um 
die Position, Orientierung und die Eigenschaften von graphischen Objekten zu 
steuem, welche als Bilder oder CAD-Modelle im Hauptspeicher 16 vorliegen. 

Die graphischen Objekte werden im Graphik-Modul 15 zu einem digitalen Bild 
10 zusammengestellt und in ein hochauflosendes analoges Videobild umgewandelt. 
Das Videobild wird uber das Videokabel 17 zum LCD-Projektoren 5 ubermittelt. 
LCD-Projektor 5 projiziert das Bild auf die TischflSche 4. 

Die Graphikobjekte werden in der Aufsicht dargestellt (zum Beispiel eine Maschine 
oder ein Layout oder ein Gebfludeplan von oben gesehen) und so an die Position 
der Klotzchen gekoppelt, dass das vom LCD-Projektoren 5 projizierte Objekt auf der 
TischflSche 4 mit dem KlOtzchen 3 mitlfluft. Dadurch erhSIt der Benutzer den Ein- 
druck, dass er das Graphikobjekt direkt mit seiner Hand auf der TischflSche umher- 
schiebt. Der Wahrnehmungsraum Sndert sich also laufend mit der ausgefuhrten 
Bewegung. Zugleich erlauben es die abgespeicherten CAD Modelle, die Konse* 
quenzen jeder Bewegung laufend zu bestimmen und im Wahrnehmungsraum oder 
an weiterer Stelle anzuzeigen. So kann ein unterschrittener Sicherheitsabstand im 
Wahrnehmungsraum angezeigt oder eine Kostenberechnung an anderer Stelle 
ausgegeben werden. Diesbezuglich stehen die bekannten MOglichkeiten des CAD 
offen. 

Diese Wirkung wird noch dadurch verstdrkt, dass Projektor 6 eine Seitenansicht der 
Graphikobjekte (zum Beispiel eine Maschine von der Seite gesehen) auf die Lein- 
wand 19 projiziert. Dazu wird in einem separaten Speicherbereich des Graphik- 
30 Moduls 15 ein digitales Bild der Seitenansicht zusammengestellt, in ein analoges 



15 



20 



25 
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Videobild umgewandelt und uber das Videokabel 18 zum Projektor 6 ubermittelt. 
Damit emalt der Benutzer den Eindruck, dass er direkt in die Szene hineinschauen 
kann, die er interaktiv aufbaut. Entsprechend kann dann auch ein weiterer Detektor 
2 zur mehrdimensionalen Erfassung der Anordnung der Klotzchen vorgesehen 
s werden. 

Damit mit der vorgestellten Anlage auch Plane Oder Bilder von realen Objekten mit 
hoher Aufl6sung aufgenommen werden konnen und trotzdem fur die Digitalisierung 
ein preiswerter Frame-Grabber 9 (standardmSssiger Frame-Grabber der Silicon 
10 Graphics Indy) verwendet werden kann, wird als Video-Kamera 2 eine automatisch 
schwenkbare Kamera verwendet, welche Ober RS-442 Interface 20 und Daten- 
Uebermittlungskabel 21 angesteuert wird. Damit kann ein hochaufgel6stes Bild aus 
mehreren niedrigaufgelosten Teilbildern zusammengesetzt werden, wobei die 
Kamera von einem Teilbild zum nachsten schwenkt. 

15 

Die beschriebene Anordnung der Hardware sowie die zu verwendende Software 
konnen gemass Stand der Technik vom Fachmann beschafft und entwickelt werden. 

Bei einem weitem Ausfuhrungsbeispiel wird die Kamera 2 als Datenquelle fur den 
20 Aufbau des Wahmehmungsraums eingesetzt. So ist es mSglich, einen Plan auf der 
Tischflache auszubreiten, so dass die Kamera die entsprechende Struktur als erste 
einzugebende Grunddaten aufnehmen und uber die Bildverarbeitung im Speicher 
14 abspeichem kann. Eine separate Generierung des Wahmehmungsraums 
entfallt dann (obschon dieser durchaus durch vorgehende CAD operationen gene- 
25 rierbar ist). Werden, wie oben beschrieben, Grunddaten durch den Detektor einge- 
lesen, ist ein hohes Auflfisungsvermogen Voraussetzung, wenn eine feine Struktur 
den Wahmehmungsraum bilden soil. Ein schwenkbarer Detektor bzw eine Kamera 
mit schwenkbarem Objektiv ermdglicht die sequentielle Abtastung des einzulesen- 
den Wahmehmungsraums; dh der Detektor kann auf einzelne Ausschnitte fokussie- 
30 ren, was, uber den ganzen Wahmehmungsraum gesehen, einem viel hGheren 
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Aufl6sungsverm6gen des Detektors entspricht. 

Bei einem weitem Ausfuhrungsbeispiel konnen mehrere und/oder verschieden 
ausgebildete Objekte 3 im Wahrnehmungsraiim Verwendung finden, zB solche, 
5 deren raumliche Orientierung erkennbar ist, und solche die diesbezuglich symme- 
trisch sind. Weiter ist es moglich, unter anderem auch passive (reflektierende) und 
aktive (sendende) Objekte 3 zu mischen, urn die entsprechenden CAD operationen 
zu unterstutzen oder zu vereinfachen. 

10 Schliesslich ist es auch moglich, Detektoren einzusetzen, welche nicht oder nicht 
ausschliesslich im sichtbaren Wellenlangenbereich des Lichts arbeiten. Eine 
einfache Videokamera ist jedoch kostengunstig und erlaubt erfindungsgemSss die 
voile Funktionsfahigkeit des vorliegend beschriebenden Interaktionsraums. 

15 Beim Einsatz einer im nicht sichtbaren Wellenlangenbereich arbeitenden Kamera 3 
kann ein reines Zweikanalsystem realisiert werden: Darstellung des Wahrneh- 
mungsraums im sichtbaren Wellenlangenbereich uber den einen Kanal mit Hilfe des 
oder der Projektoren 5 und Detektion nur der Signale der Objekte 3 Qber die ent- 
sprechend ausgebildete Kamera 3. Es ist dann nur notwendig, in der CPU 1 1 zu 

20 Beginn der Interaktion die Position eines Klotzchens 3 relativ zum Bild 5.1 ab- 
zugleichen, was mit beliebigen fachmannischen Mitteln leicht realisierbar ist. ZB 
kann jedes Objekt 3 an eine Standardposition im Wahmehmungsraum gebracht 
werden, worauf der jeweilige erste Signalempfang uber den Detetktor 2 dem Posi- 
tionsabgleich durch die CPU 1 1 dient. Danach wird der Bezug der KI6tzchen 3 

25 relativ zum Bild 5.1 bei jeder neuen Manipulation stets in der CPU 11 hergestellt, 
was den Zweikanalbetrieb ermoglicht. Naturlich kann eine erneute Abgleichung vom 
System jederzeit verlangt bzw vom Benutzer jederzeit vorgenommen werden. 

Auf jeden Fall erlaubt der erfindungsgemasse Interaktionsraum eine Verarbeitung 
30 der im Wahmemungsraum vorgenommenen Manipulationen in Echtzeit. 
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Erfindungsgemass ist es nicht ausgeschlossen, neben den Aktionen im Wahr- 
nehmungsraum weitere Dateneingaben in das verarbeitende System (uber die 
Eingabeeinheit 22 und die Eingabeleitung 23) vorzusehen (bei Planungsaufgaben 
5 kfinnte sich die Frage stellen, wie weit bei einem erstellten Wahmehmungsraum 
veranderte, im Rechner vorbestehnde Randbedingungen relevant sind). 

Schliesslich ist es mdglich, zB fur Sensitivitatsanalysen, Projektionen von ver- 
schiedenen WahmehmungsrSumen nebeneinander vorzusehen. 

10 

Weiter liegt es im Bereich der Ertlndung, Interaktionsraume fur geographisch 
getrennte Teilnehmer vorzusehen: Ein Interaktionsraum, besetzt mit einem Diskus- 
sionspartner liegt an einem Ort A, wahrend die selbe Einrichtung an einem Ort B 
ebenfalls aufgebaut ist und dort ein Oder mehrere weiterer Teilnehmer anwesend 

15 sind. Es ist dann denkbar, den jeweils anderen Teilnehmer auf die Arbeitsflache 19 
zu projizieren und uber eine Sprechverbindung dessen Kommentare hdrbar zu 
machen. Der Eingriff des jeweils anderen Teilnehmers in den Interaktionsraum 
verandert diesen, was durch die zwischen den beiden Interaktionsraumen vor- 
gesehenen Kommunikationsleitungen Obermittelt werden kann, so dass sich beide 

20 Interaktionsraume zugleich verandem. Die Kommunikation auf Distanz wird darum 
entscheidend verbessert, weil Informationen nicht nur verbal, sondem uber die 
veranderten Wahrnehmungsraume ausgetauscht werden k6nnen, was Missver- 
standnisse entscheidend vermindert. 

25 Zusatzlich liegt es im Bereich der Erfindung, mehrere Wahrnehmungsraume nebe- 
neinander aufzubauen, was ermoglicht, zB Sensitivitatsanalysen durch gleichzeitige 
Darstellung verschiedener Zustande des Wahmehmungsraums vorzunehmen. 

Weiter kann der Wahmehmungsraum initial derart generiert werden, dass durch 
30 Pojektion eines Bildes auf die Arbeitsflachen und nachfolgendes Einlesen uber eine 
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geeignete Kamera 2 die Daten des zu benutzenden Wahmehmungsraums voll- 
standig oder nur erganzend in den betreffenden Speicher der Work-Station eingele- 
sen werden und dann fur weitere Verarbeitung zur Verfugung stehen. 
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Patentansprtlche 

5 1 . Vom'chtung zur Erzeugung eines Interaktionsraums zwischen Mensch 

und Datenverarbeitungseinheit, welche 

- Mittel zur Verarbeitung von Daten 

- Mittel zur Projektion eines virtuellen Wahmehmungsraums 

10 - Mittel zur Generierung von Eingabedaten fur die Datenverarbeitungseinheit durch 
Aktionen im Wahmehmungsraum 

aufweist, dadurch gekennzeichnet, dass 

15 - die Mittel zur Verarbeitung von Daten betriebsfShig miteinander verbundene 
Datenleitungen, Speichenmittel, Mittel zur Bildverarbeitung und Mittel zur weiteren 
Datenverarbeitung aufweisen 

- die Mittel zur Projektion eines virtuellen Wahmehmungsraums mindestens einen 
mit den Mitteln zur weiteren Datenverarbeitung betriebsffihig verbundenen Projek- 

20 tor fur die Projektion mindestens eines Bildes auf mindestens eine Arbeitsflache 
aufweisen 

- die Mittel fur die Generierung von Eingabedaten mindestens ein reelles, im Wahr- 
nehmungsraum positionierbares Objekt und mindestens einen Detektor fur die 
Beobachtung des Wahmehmungsraums aufweisen, welcher ausgebildet ist, durch 

25 einen Sender in den Wahmehmungsraum abgegebene und durch das Objekt 
reflektierte und/oder durch das Objekt gesendete Signale aufzunehmen und 
konvertiert an mit den Mitteln zur Bildverarbeitung betriebsfahig verbundene 
Datenleitungen abzugeben. 

30 
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2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Sender durch 
das Objekt gegen den Detektor zu reflektierende Signale sendet, welche andere 
Eigenschaften, vorzugsweise eine andere Intensitat und/oder Wellenlange auf- 
weisen, als die vom Wahmehmungsraum ausgehenden Signale. 

3. Vorrichtung nach Anspruch 1 Oder 2, dadurch gekennzeichnet. dass das Objekt 
Signale sendet, welche andere Eigenschaften, vorzugsweise eine andere Intensitat 
und/oder Wellenlange aufweisen, als die vom Wahmehmungsraum ausgehenden 
Signale. 

4. Vorrichtung nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, dass 
das mindestens eine im Wahmehmungsraum positionierbare Objekt einen mit dem 
Detektor zusammenwirkenden und einen individuellen Code aussendenden Sender, 
vorzugsweise eine intermitierend arbeitende Lichtquelle, aufweist. 

5. Vorrichtung nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, dass 
das mindestens eine im Wahmehmungsraum positionierbare Objekt mindestens 
teilweise eine fur die Signale des Senders retroreflektierende Oberflache aufweist. 

6. Vorrichtung nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, dass 
das mindestens eine im Wahmehmungsraum positionierbare Objekt mindestens 
teilweise eine mit einem fur den Detektor detektierbaren Kontrastmuster versehene 
Oberflache aufweist. 

7. Vorrichtung nach einem der Anspruch 1 bis 6, dadurch gekennzeichnet, dass das 
mindestens eine im Wahmehmungsraum positionierbare Objekt mindestens teil- 
weise eine Oberflache aufweist, welche durch den Detektor detektierbare Signale 
absorbiert. 

D 8. Vorrichtung nach einem der Anspruche 1 bis 7, dadurch gekennzeichnet, dass 
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das Objekt in seinen Abmessungen nur fur genugendes Zusammenwirken mit dem 
Detektor ausgebildet ist und mit einem seinerseits im Wahmehmungsraum positio- 
nierbaren, vorzugsweise mit fur den Menschen lesbaren Informationen ausgestatte- 
ten TrSgerteil verbindbar ist. 

5 

9. Vorrichtung nach einem der Anspruche 2 bis 6, dadurch gekennzeichnet, dass 
die vom Detektor detektierbare OberflSche des Objekts im Hinblick auf seine Orien- 
tierung eindeutig ausgestaltet ist, derart, dass das vom Detektor an die Mittel zur 
Bildverarbeitung zu ubergebende Signal eine Information uber die rSumliche Orien- 

10 tierung des Objekts enthSIt. 

10. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass der Projektor zur 
Projektion eines fein strukturierten und vielfarbigen Bildes vorzugsweise in nur 
leicht abgedunkelter Umgebung ausgebildet ist. 

15 

11. Vorrichtung nach einem der Anspruche 1 bis 10, gekennzeichnet durch mehrere 
Projektoren und/oder mehrere Detektoren zur Darstellung eines rSumlichen Wahr- 
nehmungsraums bzw Detektion der rfiumlichen Lage des Oder der Objekte. 

20 

12. Objekt zur Posrtionierung in einem Wahmehmungsraum einer Vorrichtung nach 
Anspruch 1, gekennzeichnet durch die Merkmale eines Oder mehrerer der An- 
spruche 2 bis 10. 

25 13. Objekt zur Positionierung in einem Wahmehmungsraum einer Vorrichtung nach 
Anspruch 1, gekennzeichnet durch Mittel zum Aussenden eines durch den Detektor 
detektierenden Codes, wobei diese Mittel vorzugsweise ausgebildet sind, den Code 
individuell, je nach Manipulation, zu bilden und zu senden. 

30 14. Verfahren zum Betrieb einer Vorrichtung nach einem der Anspruche 1 bis 13, 
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dadurch gekennzeichnet, dass durch einen Projektor auf mindestens einer Arbeits- 
flache ein Bild erzeugt wird, welches ein zu bearbeitendes Problemfeld und damit 
einen Wahmehmungsraum darstellt, dass wahlweise Objekte im Wahrnehmungs- 
raum positioniert werden, dass diesen ohne bereits existierende Funktionszuord- 
nung durch die Vorrichtung durch den Ort der Positionierung automatisch eine 
Funktion als Bestandteil des Problemfeldes zugeordnet wird, dass das mindestens 
eine Objekt wahlweise im Wahmehmungsraum neu positioniert und/oder orientiert 
wird und dass der in der Folge geanderte Wahmehmungsraum als Ausgangsbasis 
eine neue Positions- und/oder Orientierungsanderung dient. 

15. Verfahren zum Betrieb nach Anspruch 14, dadurch gekennzeichnet, dass auf 
der mindestens einen Arbeitsflache vor Projektion des Wahrnehmungsraums ein 
Bild erzeugt wird, welches durch den Detektor erkannt werden kann, und dass nach 
Aufnahme dieses Bilds durch den Detektor und Wiedergabe uber den Projektor auf 
die Arbeitsflache das ursprungliche Bild entfemt wird, so dass in dem durch den 
Projektor erzeugten Wahmehmungsraum weitergearbeitet werden kann. 

16. Verfahren nach einem der Anspruche 14 oder 15, dadurch gekennzeichnet, 
dass auf einer weiteren Arbeitsflache durch eine weitere Kamera ein weiterer, 
vorzugsweise aus einer anderen Blickrichtung dargestellter Wahmehmungsraum 
erzeugt wird. 

17. Verfahren zum Betrieb nach einem der Anspruche 14 bis 16, dadurch gekenn- 
zeichnet, dass auf einer weiteren Arbeitsflache durch einen weiteren Projektor ein 
Wahmehmungsraum erzeugt wird, welcher einen ausgewahlten Zwischenstand des 
Wahrnehmungsraums festhalt. 



18. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Detektor zum 
sequentiellen Aufnehmen von Abschnitten des einzulesenden Grund-Wahrneh- 
mungsraums ausgebildet ist, derart, dass jeder Abschnitt mit dem maximalen 
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AuflGsungsvermogen des Detektors einlesbar ist. 

19. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass neben dem 
Detektor weitere Eingabemittel zur laufenden Eingabe von Daten in die Datenver- 

5 arbeitungseinheit 9-16 vorgesehen sind. 

20. Verfahren zur Eingabe von Daten in eine Datenverarbeitungsanlage uber einen 
Interaktionsraum, dadurch gekennzeichnet, dass ein Interaktionsraum aufgebaut 
wird durch Projektion eines einen Wahmehmungsraum darstellenden Problem- 

10 feldes auf eine ArbeitsflSche, durch anschliessendes Positionieren von Objekten im 
Wahmehmungsraum, durch anschliessendes Zuordnen der Objekte an Merkmale 
des Problemfeldes, und dass danach die Objekte zur Eingabe von Daten im Wahr- 
nehmungsraum bewegt werden, diese Bewegungen detektiert und als Eingabe- 
daten uber eine Datenumwandlung der Datenverarbeitung zugefuhrt werden, 

15 worauf diese Datenverarbeitung laufend einen der Bewegung nachgefOhrten, neuen 
Wahmehmungsraum projiziert. 

21. Verfahren nach einem der vorangehenden Anspruche 14 bis 21, dadurch 
gekennzeichnet, dass das durch einen Projektor erzeugte Bild uber mtndestens 

20 einen Spiegel auf die ArbeitsflSche umgelenkt wird und/ Oder die Signale der 
Objekte uber mindestens einen Spiegel zum Detektor umgelenkt werden. 

18. Vorrichtung nach einem der vorangehenden Anspruche 1 bis 20, dadurch 
gekennzeichnet, dass mindestens ein Spiegel eine Flache von mindestens 100 cm 2 
25 aufweist. 



WO 98/13745 



PCT/CH97/00336 




INS DOC ID <WO 9813745A2 I > 



WO 98/13745 



PCT/CH97/00336 




2 




5U ^ 




ERSATZBLATT (REGEL 26) 



This Page is Inserted by IFW Indexing and Scanning 
Operations and is not part of the Official Record 

BEST AVAILABLE IMAGES 

Defective images within this document are accurate representations of the original 
documents submitted by the applicant. 

Defects in the images include but are not limited to the items checked: 

□ BLACK BORDERS 

□ IMAGE CUT OFF AT TOP, BOTTOM OR SIDES 

□ FADED TEXT OR DRAWING 

□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES 

□ COLOR OR BLACK AND WHITE PHOTOGRAPHS 

□ GRAY SCALE DOCUMENTS 

□ LINES OR MARKS ON ORIGINAL DOCUMENT 

□ REFERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 

IMAGES ARE BEST AVAILABLE COPY. 
As rescanning these documents will not correct the image 
problems checked, please do not report these problems to 
the IFW Image Problem Mailbox. 



